【机器人、无人机、自动驾驶】轨迹预测常用方法介绍

关注公众号，发现CV技术之美

本文转自西湖大学智能无人系统课题组，作者贾宝强。

轨迹预测是一项广泛应用于多个领域的科学技术，无论是交通规划、无人驾驶汽车、运动员训练，还是风暴路径预测，都离不开轨迹预测。本文旨在介绍轨迹预测的基本概念、主要方法和发展趋势，以期为感兴趣的读者提供一个科普性的参考。

运动预测（motion prediction）指机器人能够预测物体的未来状态，包括轨迹预测、路径预测、位姿预测等。轨迹预测 是运动预测的一个子领域，指在给定一个目标过去或当前运动轨迹的情况下，对其未来位置、速度、方向等状态信息进行预测的任务。它是许多领域中重要的组成部分，在机器人、自动驾驶、无人飞行器、运动分析等领域有着广泛的应用。路径预测（path prediction）是轨迹预测的一个子领域，轨迹被定义为带 时间戳 的几何位置的序列[1]，路径则不包含时间属性。下图是一个行人轨迹预测示意图[2]。

轨迹的表示方法常见的有三种：单一轨迹（single trajectory）、参数分布（parametric distribution）、非参数分布（non-parametric distribution）[3]。轨迹预测根据时间长短可分为两种：短期（short-term）预测和长期（long-term）预测，短期预测一般指0-2秒的预测范围，长期预测一般指2-20秒（不同领域中时间范围不同）。

轨迹预测的建模一般可分为3类：基于物理模型的方法（Physics-based Approaches）、基于运动模式的方法（Pattern-based Approaches）和基于规划的方法（Planning-based Approaches）[3]。

▌基于物理模型的方法 ：这类方法利用物理模型（如动力学模型或运动学模型）来描述目标的运动规律，并根据当前状态来推断未来状态。其流程属于“ 感知-预测 ”，方法包括基于单模型的方法（匀速模型、匀加速度模型、自回归模型等）和基于多模型的方法。这类方法简单高效， 不需要训练数据 ，但忽略了环境和交互因素，因此不适用于复杂环境， 只适用于短期轨迹预测 ，只适用于无障碍物的开放环境。

▌基于运动模式的方法 ：这类方法遵循“ 感知-学习-预测 ”的流程，从训练数据中学习得到动态模型，统计行为模式，然后进行预测。这类方法可分为两类：基于概率的模型 （例如不确定性感知的方法、基于高斯过程的方法、基于可及集的方法）和 基于学习的模型 （例如CNN、RNN、LSTM、基于轨迹聚类的方法等）。这些方法适用于有复杂未知动态物体的环境，适用于 长期轨迹预测 ，但需要 大量的训练数据 。

▌基于规划的方法 ：这类方法遵循“ 感知-推理-预测 ”的流程，结合运动目的来推断长期路径，包含 意图推断 的内容，也可结合 环境语义信息 。这类方法也可分为两类：前向规划的方法（例如Motion and path planning methods、Multi-agent forward planning）和反向规划的方法（例如Single agent inverse learning、Imitation learning、Multi-agent inverse learning）。这些方法同样适用于长期的轨迹预测。

这些方法可参考下表[3]：

这三类建模方法也可以进行互相结合，例如基于规划的方法和基于物理模型的方法进行结合，或者两种基于学习的方法互相结合，如CNN+LSTM，可得到更高的预测精度。图2展示了一个利用CNN和LSTM来进行4D轨迹预测（aircraft领域）的框架[4]，该框架结合了卷积神经网络（CNN）和长短时记忆（LSTM）。一维卷积被用于提取轨迹的空间维度特征，而长短时记忆被用来挖掘轨迹的时间维度特征。文中将CNN+LSTM方法应用于固定翼大型客机的轨迹预测，流程框架如图2所示。

图3展示了Google利用VectorNet（一种分层图神经网络）来进行轨迹预测的方法[5]。

Uber公司则使用了不同的策略，他们提出了LaneRCNN，一个以图为中心的运动预测模型，以分布式和结构化的方式捕捉智能体之间以及智能体与地图的关系，依靠专门设计的图形编码器为每个智能体编码其过去的运动和本地地图拓扑结构[6]。LaneRCNN示意图如图4所示。

文献[7]调研了自动驾驶领域行人和车辆的运动预测（motion prediction）。作者将预测系统分成了三部分：情景感知（situational awareness）、预测模型（modelling approach）、预测输出（output type），如图5所示。其中情景感知属于环境语义信息，其可作为运动预测的输入特征来辅助进行运动预测，以提高预测的精确性；预测模型部分则重点讨论了轨迹预测（trajectory prediction）的内容；运动预测的输出格式除了轨迹预测之外，还包含意图预测等内容。

语义信息作为轨迹预测的辅助信息，本身并不直接产生预测的轨迹，而是和上面轨迹预测的建模方法相结合，以产生更精确的预测信息。语义信息 通常可分为三类：目标智能体信息（Target Agent）、动态智能体信息（Dynamic Agents）、静态环境信息（Static Environment）[3]，如下表所示。

评价指标是用来衡量预测模型的质量和性能的标准。文献[3]中将轨迹预测的评价指标分为两类：基于 几何精度 和基于 概率精度 。基于几何精度的指标量化了预测轨迹与真实轨迹之间的偏差或距离，例如最终位移误差、平均位移误差等指标。但几何精度指标的缺点之一是无法衡量不确定性，也无法衡量预测的多模态性质，当预测的轨迹以轨迹簇的形式给出，或者以概率位置分布的形式给出时，这种场景下可使用概率精度的指标来评估。这两种评价指标总结如下所示:

轨迹预测领域仍然有许多有待探索的方向。例如：

如何利用更多的环境信息和语义信息来提高预测结果的 可靠性 ？

如何设计更有效的交互建模方法来提高预测结果的 鲁棒性 ？

如何结合不同类型的预测方法来提高预测结果的 准确性 ？

如何利用社会规则和心理模型来增强轨迹预测的 可解释性 和可靠性？

如何利用不确定性量化和风险评估来保证轨迹预测的 安全性 和稳定性？

轨迹预测技术正处于快速发展的阶段，未来有望取得更大的突破。计算机视觉、深度学习和神经网络等新兴技术的应用，也为轨迹预测提供了更强大的工具。此外，与其他领域的交叉应用将会推动轨迹预测的创新，例如结合人工智能和大量真实数据，实现更智能的轨迹预测。

本文对轨迹预测的基本概念、主要方法和发展趋势进行了简要介绍，希望能够激发读者对这一领域的了解和兴趣，也希望有更多的读者加入到这一领域的探索中。

参考文献

[1] Chekol, A.G. and Fufa, M.S. (2022) “A survey on next location prediction techniques, applications, and challenges,” EURASIP Journal on Wireless Communications and Networking, 2022(1). Available at: https://doi.org/10.1186/s13638-022-02114-6.[2] Korbmacher, R. and Tordeux, A. (2022) “Review of pedestrian trajectory prediction methods: Comparing deep learning and knowledge-based approaches,” IEEE Transactions on Intelligent Transportation Systems, 23(12), pp. 24126–24144. Available at: https://doi.org/10.1109/tits.2022.3205676.[3] Rudenko, A. et al. (2020) “Human motion trajectory prediction: A survey,” The International Journal of Robotics Research, 39(8), pp. 895–935. Available at: https://doi.org/10.1177/0278364920917446.[4] Ma, L. and Tian, S. (2020) “A hybrid CNN-LSTM model for aircraft 4D trajectory prediction,” IEEE Access, 8, pp. 134668–134680. Available at: https://doi.org/10.1109/access.2020.3010963.[5] Gao J, Sun C, Zhao H, et al. Vectornet: Encoding hd maps and agent dynamics from vectorized representation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11525-11533.[6] Zeng W, Liang M, Liao R, et al. LaneRCNN: Distributed Representations for Graph-Centric Motion Forecasting[J]. arXiv preprint arXiv:2101.06653, 2021.[7] Gulzar, M., Muhammad, Y. and Muhammad, N. (2021) “A survey on motion prediction of pedestrians and vehicles for autonomous driving,” IEEE Access, 9, pp. 137957–137969. Available at: https://doi.org/10.1109/access.2021.3118224.

END

欢迎加入「52CV」交流群👇备注：CV